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Motor vehicle environment monitoring system detects object near vehicle from image 
produced by imaging device on vehicle, derives relative position, vector, collision 
probability 
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Abstract of DE10030421 

The system detects an object near the vehicle from an 
image produced by an imaging device mounted on the 
vehicle and contains a relative position detection 
arrangement for producing position data from the 
acquired image, a movement vector computer deriving 
the object position and movement vector in real space 
and a device for determining whether there is a ( V 
significant probability of the object colliding with the 
vehicle based on the vector. 
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Die folgenden Angaben sind den vom Anmelder etngereichten Unter lagan entnommen 

Prufungsantrag gem. § 44 PatG ist gestellt 
® Fahrzeugumgebungsuberwachungssystem 

(§7) Die Erfindung stellt ein Fahrzeugumgebungsuberwa- 

chungssystem fur ein Kraftfahrzeug bereit, welches ge- 

eignet ist, genau die Bewegung eines in einer Umgebung 

des Fahrzeugs vorhandenen Objekts zu erfassen und die 

Moglichkeit fur eine Kollision zwischen dem Objekt und 

dem Fahrzeugzu bestimmen, und dadurch den Fahrer an- 

gemessen zu warnen. Eine Relativposition des Objekts zu 

dem Kraftfahrzeug wird aus dem mittels einer an dem 

Fahrzeug angebrachten Kamera erhaltenen Bild erhalten, 

urn Positionsdaten zu erlangen (S11-S20, S31-S33). Posi- 

tionen des Objekts in einem Echtraum werden basierend 

auf einer Mehrzahl von Zeitreihendatenelementen der an 

dem Objekt erfafcten Positionsdaten berechnet (S21, S22) 

und ein Bewegungsvektor des Objekts wird basierend auf 

den Positionen im Echtraum berechnet (S23). Es wird ba- 
■ sierend auf dem Bewegungsvektor bestimmt (S24), ob 
g das Objekt eine bedeutende Moglichkeit fur eine Kollision 
« mit dem Kraftfahrzeug aufweist 
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licht es, die Moglichkeit einer Kollision genauer zu bestimmen und zu vermeiden, daB der Fahrer unnotigerweise ge- 
warnt wird. 

Wciter bevorzugt berechnen die Naherungsgeradenberechnungsmittel die Nahefungsgerade als eine dreidirnensionale 
Gerade, umfassend Daten einer Hone des Objekts. 

GemaB dieser bevorzugten Ausfuhrungsform ist es moglich, die Moglichkeit einer Kollision genau zu bestimmen, 5 
seibst wenn der Fahrer auf einer hiigeligen StraBe fahrt. 

Vorzugsweise umfassen die Abbildungsmittel zwei Infrarotkameras, die zur Erfassung von Infrarotstrahlung geeignet 
sind. 

GemaB dieser bevorzugten Ausfuhrungsform kann ein Her, ein fahrendes Kraftfahrzeug und dergleichen einfach er- 
faBt werden, seibst wenn der Fahrer bei Nacht fahrt und es schwierig ist, diese zu erkennen. 10 

Vorzugsweise umfassen die Abbildungsmittel zwei TV-Kameras zum Erf as sen von Infrarotstrahlung oder sichtbarer 
Strahlung und umfassen die Relativpositionbestimmungsmittel Suchbereichsetzmittel zum Setzen, basierend auf einer 
Position eines Objektbilds, das in einer Bildausgabe von einer der zwei TV-Kameras enthalten ist, eines Suchbereichs in 
einer Bildausgabe von der anderen der zwei TV-Kameras, um ein korrespondierendes Objektbild zu suchen, das in der 
Bildausgabe der anderen der zwei TV-Kameras enthalten ist, Korrcspondenzobjektidentifizierungsmittel zum Identifizie- 15 
reri des korrespondierenden Objektbilds durch Ausflihren einer Korrelationsoperation an Daten in dem Suchbereich, und 
Distanzberechnungsmittel zum Berechnen einer Distanz von dem Fahrzeug zu dem Objekt basierend auf einer Parallaxe 
zwischen dem Obj ektbild und dem Korrespondenzobj ektbild. 

Weiter bevorzugt sind die Daten in dem Suchbereich Graustufendaten, die Halbtoninformation enthalten. 

Indem nicht binare Daten sondern Graustufendaten verwendet werden, ist es gemaB dieser bevorzugten Ausfuhrungs- 20 
form moglich, eine genauere Korrelationsoperation durchzufuhren, wodurch eine fehlerhafte Identifizierung eines kor- 
respondierenden Objektbilds vermieden wird. 

Weiterhin bevorzugt umfassen die Relativpositionserfassungsmittel Verfolgungsmittel zum Verfolgen eines Objekts, 
das sich in dem Bild bewegt, das durch die Abbildungsmittel erhalten wird, unter Verwendung von Binardaten, die durch 
Binansierung der Graustufendaten gebildet werden. 25 

Noch weiter bevorzugt erkennen die Verfolgungsmittel das verfolgte Objekt unter Verwendung von Laufl angendaten, 
die aus den Binardaten codiert werden. 

GemaB dieser bevorzugten Ausfiihrungsform ist es moglich, die Menge von Daten, die das verfolgte Objekt betreffen, 
zu reduzieren, wodurch bei der Kapazitat der Speichereinrichtung gespart wird. 

Noch weiter bevorzugt bestimmen die Verfolgungsmittel eine Identitat des verfolgten Objekts, basierend auf Positi- 30 
onskoordinaten eines Flachenschwerpunkts von einem Bilds desselben, einer Flache des Bilds desselben und einem Sei- 
tenverhaltnis eines das Bild desselben umschreibenden Rechtecks. 

GemaB dieser bevorzugten Ausfuhrungsform ist es moglich, die Identitat eines verfolgten Objekts genau zu bestim- 
men. 

Vorzugsweise umfaBt das Fahrzeugumgebungsiiberwachungssystem Warnungsmittel zum Warnen eines Fahrers, 35 
wenn durch die Bestimmungsmittei bestimmt wird, daB es eine bedeutende MOglichkeit einer Kollision mit dem Objekt 
gibt, und sind die Warnungsmittel an einem Warnen des Fahrers gehindert, wenn der Fahrer eine Bremsoperation aus- 
fuhrt und die hierbei durch die Bremsoperation verursachte Verzogerung groBer als eine vorbestimmte Schwelle ist. 

GemaB dieser bevorzugten Ausfuhrungsform wird der Fahrer nicht gewamt, wenn er das Objekt bereits erkannt hat 
und eine angemessene Bremsoperation ausfuhrt. Dies ermoglicht es, zu verhindern, daB der Fahrer durch eine unnotige 40 
Warnung gestort wird. 

Die obigen und weitere Aufgaben, Merkmale und Vorteile der Erfindung werden aus der folgenden detaillierten Be- 
schreibung in Verbindung mit den beigefugten Zeichnungen ersichtlicher. 

KURZE BESCHREIBUNG DER ZEICHNUNGEN 45 

Fig. 1 ist ein Blockdiagramm, das die Anordnung eines Fahrzeugumgebungsuberwachungssystems gemaB einer Aus- 
fuhrungsform der Erfindung zeigt; 

Fig. 2 ist eine Darstellung, die Teile eines Fahrzeugs veranschaulicht, an welchen in Fig. 1 dargestellte Anbringungs- 
kameras angebracht sind; 50 

Fig. 3 ist ein RuBdiagramm, das eine Verarbeitungsprozedur zeigt, die durch eine in Fig. 1 dargestellte Bildverarbei- 
tungseinheit ausgefuhrt wird; 

Fig. 4 ist ein RuBdiagramm, das Details eines Warnungsbestimmungsprozesses in Fig. 3 zeigt; 

Fig. 5 A und 5B sind Darstellungen, die jeweils Halbtonabschnitte als schraffierte Bereiche zeigen, welche bei der Er- 
lauterung von Graustufenbildern niitzlich sind, die durch Infrarotkameras erhalten werden, wobei: 55 

Fig. 5 A ein rechtes Bild zeigt, das durch eine rechte der Infrarotkameras erhalten wird; 
. Fig. 5B ein linkes Bild zeigt, das durch eine linke derselben erhalten wird; 

Fig. 6 ist eine Darstellung, die einen schwarzen Bereich als schraffierten Bereich zeigt, welche bei der Erlauterung ei- 
nes Bilds niitzlich ist, das durch Binarisierung eines Graustufenbilds gebildet wird; 

Fig. 7A bis 7C sind Darstellungen, die bei der Erlauterung eines Prozesses zum Umwandeln binarisierter Bilddaten in 60 
Lauflangendaten und zum Kennzeichnen von Objekten fur eine Identifizierung derselben sind; 

Fig. 8A und 8B sind Darstellungen, die bei der Erlauterung der Art und Weise niitzlich sind, in der Objekte in Zeitin- 
tervallen verfolgt werden; 

Fig. 9A ist eine Darstellung, die bei der Erlauterung eines Zielbilds in dem rechten Bild niitzlich ist; 

Fig. 9B ist eine Darstellung, die bei der Erlauterung eines in dem linken Bild gesetzten Suchbereichs niitzlich ist; 65 

Fig. 10A und 10B sind Darstellungen, die bei der Erlauterung einer Korrelationsoperation niitzlich sind, die an Daten 
in dem Suchbereich ausgefuhrt wird; 

Fig. 11A und 11B sind Darstellungen, die bei der Erlauterung einer Methode zur Berechnung einer Parallaxe niitzlich 
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bereiche) jeweih^e weiBe Bereiche reprasentieren. 

In dem nachfolgenden Schritt S 15 werden die binarisierten Bilddaten in Lauflangendaten codiert. Fig, 7A ist eine Dar- 
stellung zur Erlauterung des Codierprozesses. In der Figur sind Bereiche, die. durch die obige Binarisierung auf weiB ge- 
setzt sind, durch Iinien LI bis L8 dargestellt, welche jeweilige Pixellinienangeben. Obwohl die Linien LI bis L8 jeweils 
eine Breite von einem Pixel in der y-Richtung besitzen und tatsachlich Seite-an-Seite ohne irgend welche Lucken in der 5 
y-Richtung angebrdnet sind, sind sie der Klarheit der Beschreibung halber als separate Linien gezeigt, die voneinander 
getrennt sind. Die Linien LI bis L8 besitzen femer jeweilige Langen von zwei Pixein, zwei Pixeln, drei Pixeln, acht Pi- 
xeln, sieben Pixeln, acht Pixeln, acht Pixeb und acht Pixeln in der x-Richtung. Die Lauflangendaten reprasentieren jede 
der Linien LI bis L8 durch Koordinaten des Startpunkts (Punkt des linken Endes) der Linie und der Lange (die Anzahl 
von Pixeln) der Linie von dem Startpunkt zu dem Endpunkt (Punkt des rechten Endes) derseiben. Beispielsweise ist die io 
Linie L3 aus drei Pixeln (x3, y5), (x4, y5) und (x5, y5) gebildet und wird durch die Lauflangendaten (x3, y5, 3) repra- 
sentiert. 

In Schritten S 16 und S 17 wird ein Objekt extrahiert durch Kennzeichnen desselben, wie es in Fig* 7B gezeigt ist Dies 
bedeutet, von den in die Lauflangendaten codierten Linien LI bis L8 werden die in der y-Richtung uberlappenden Linien 
LI bis L3 als ein Objekt 1 betrachtet und die in der y-Richtung uberlappenden Linien L4 bis L8 als ein Objekt 2 betrach- 15 
tet, wobei Objektkennungen 1 und 2 den Lauflangendaten hinzugefugt werden. Diese Verarbeitung ermdglicht es z. B., 
daB die in Fig; 6 erscheinenden Hochluminanzbereiche jeweils als Objekt 1 bis 4 begriffen werden. 

In einem Schritt SI 8, wie es in Fig. 7C gezeigt ist, werden der Flachenschwerpunkt G eines extrahierten Objekts (Bild 
eines Objekts), die Flache S des extrahierten Objekts und das Seitenverhaltnis ASPECT eines das extrahierte Objekt urn- 
schreibenden Rechtecks, angegeben durch gestrichelte Linien, berechnet. Die Flache S wird durch Integrieren der Lan- 20 
gen der Lauflangendaten eines identischen Objekts berechnet Die Koordinaten des Flachenschwerpunkts G werden be- 
rechnet als die x-Koordinate einer Linie, die die Flache S langs der y-Richtung halftig teilt, und die y-Koordinate einer 
Linie, die die Flache S langs der x-Richtung halftig teilt Das Seitenverhaltnis ASPECT wird als Dy/Dx berechnet, wel- 
ches ein Verhaltnis von Dy zu Dx ist, wie es in Fig. 7C dargestellt ist. Es ist zu bemerken, daB die Position des Flachen- 
schwerpunkts des umschreibenden Rechtecks anstatt des Flachenschwerpunkts G des extrahierten Objekts verwendet 25 
werden kann. 

In einem Schritt SI 9 werden Objekte in Zeitintervallen verfolgt, d.h. es wird eine Identifizierung oder Erkennung 
identischer Objekte ausgefuhrt, jedesmal dann, wenn jede Abstastwiederholperiode ablauft Unter der Annahme, daB 
eine durch Diskretisieren einer Zeit t als eine AnaloggroBe mit einer Abtastwiederholperiode erhaltene Zeit durch k aus- 
gedriickt wird, werden zu der Zeit k extrahierte Objekte 1 und 2, wie es in Fig. 8A gezeigt ist, und zu der Zeit (k + 1) ex- 30 
trahierte Objekte 3 und 4, wie es in Fig. 8B gezeigt ist, hinsichtlich ihrer Identitat uberpriift Im besonderen wird be- 
stimmt, daB die Objekte 3 und 4 identisch mit den entsprechenden Objekten 1 und 2 sind, wenn die folgenden Identifi- 
zierungsbedingungen (1) bis (3) erfullt sind, und die Objekte 3 und 4 werden als Objekte 1 und 2 gekennzeichnet, um da- 
durch die Objekte in Zeitintervallen zu verfolgen: 

35 

(1) Unter der Annahme, daB die Positionskoordinaten des Flachenschwerpunkts von Objekten i (= 1, 2) in einem 
Bild zur Zeit k ausgedriickt werden durch (xi(k), yi(k)) und die Positionskoordinaten des Flachenschwerpunkts von 
Objekten j (= 3, 4) in einem Bild zur Zeit (k + 1) ausgedriickt werden durch (xj(k + 1), yj(k + 1)), so sind die fol- . 
genden Bedingungen erfullt: 

40 

lxj(k + 1) - xi(k)l < Ax, und 
' lyj(k+l)-yi(k)l<Ay, 

wobei Ax und Ay maximal zulassige Werte fur jeweilige Distanzen darstellen, die durch das in dem Bild in der x- 45 
Richtung und der y-Richtung sich bewegenden Objekts iiberstrichen werden. 

(2) Unter der Annahme, daB die Flachen der Objekte i (= 1, 2) in dem Bild zur Zeit k ausgedriickt werden durch 
Si(k) und die Flachen der Objekte j (= 3, 4) in dem Bild zur Zeit (k + 1) ausgedriickt werden durch Sy(k + 1), so ist 
die folgende Bedingung erfullt: 

50 

Sj(k+ l)/Si(k)<l±AS 

wobei AS einen maximal zulassigen Wert fur eine Anderung der Flache darstellt 

(3) Unter der Annahme, daB die Seitenverhaltnisse von Rechtecken, welche die Objekte i (= 1, 2) zur Zeit k um- 
schreiben, ausgedriickt werden durch ASPECT i(k) und die Seitenverhaltnisse der Rechtecke, welche die Objekte j 55 
(= 3, 4) zur Zeit (k + 1) umschreiben, ausgedriickt werden durch ASPECT j(k + 1), so ist die folgende Bedingung er- 
fullt: 

, ASPECT j(k + D/ASPECT i(k) .< 1 ± AASPECT 

60 

wobei AASPECT einen maximal zulassigen Wert fur eine Anderung des SeitenverhaTtnisses darstellt.. 

Vergleicht man die Fig. 8A und Fig. 8B, so ist die GroBe jedes Objekts in Fig. 8B vergroBert, jedoch erfullen die Ob- 
jekte 1 und 3 die obigen Identifizierungsbedingungen und erfullen die Objekte 2 und 4 die obigen Identifizierungsbedin- 
gungen. Somit konnen die Objekte 3 und 4 als die jeweiligen Objekte 1 und 2 identifiziert werden. Die Positionskoordi- 65 
naten (des Flachenschwerpunkts) jedes somit identifizierten Objekts werden als Zeitreihendatenelemente von Positions- 
daten in dem Speicher gespeichert und zum Ausfuhren nachfolgender arithmetischer Operationen verwendet 

Es ist zu bemerken, daB die oben erwahnten Prozesse in den Schritten S14 bis S19 an dem binarisierten Referenzbild 
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(dem rechten Bild in der vorliegenden Ausfiihrungsform) ausgefuhrt werden. 

mmmmmm 

25 ^ , t . N-l M-l 

,= ■£„§> IL(a-fm— M, b+n— N) — IRCm, n) I (1) 

BXF BXF 
z = = (2) 

(dL+dR) Xp AdXp 
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In diesen Gleichungen werden (xc, yc) durch Umwandeln der Koordinaten (x, y) in dem Koordinaten system des rech- 
ten Bilds in Koordinaten im Koordinatensystem des imaginaren Bilds erhalten, dessen Zentrum zur Koinzidenz ndt dem 
Ursprung O des Echtraumkoordinatensystems gebracht wird, basierend aufder reiativen Beziehung der Anbringungspo- 
sition der Kamera 1R und dem Ursprung O des Echtraumkoordinatensystems. Ferner stellt f ein Verhaltnis zwischen der 
fokalen Distanz F und dem Pixel-zu-Pixel-Raumintervall p dar. 

In einem Schritt S22 wird eine Wendewinkel-abhangige Korrektur der Positionsdaten jedes Objekts ausgefuhrt durch 
Kompensieren einer Positionsveriagerung des Objekts in dem Bild aufgrund einer Wendung des Fahrzeugs 10 entspre- 
chend dem WendungswinkeL Unter der Annahme, daB das Fahrzeug 10 wendet, wie es in Fig. 14 gezeigt ist, z. B. in ei- 
der Richtung nach links iiber einen Winkel 6r der Wendung wahrend einer Zeitperiode von einer Zeit k zu. einer Zeit (k + 
1 ), so wird ein durch die Kamera erhaltenes Bild urn Ax in der x-Richtung versetzt, wie es in Fig, 1 5 gezeigt ist. Die Wen- 
dewinkel-abhangige Korrektur im Schritt S22 wird ausgefuhrt, urn die Verlagerung des Bilds zu kompensieren. Im be- 
sonderen werden die Echtraumkoordinaten (X, Y, Z) fur die folgende Gleichung (4) verwendet, urn korrigierte Koordi- 
naten (Xr, Yr, Zr) zu berechnen. Somit berechnete Echtraumpositionsdaten (Xr, Yr, Zr) werden in einer zujedem korre- 
spondierenden Objekt korrelierten Weise in dem Speicher gespeichert. Femer werden die korrigierten Koordinaten in der 
foigenden Beschreibung als Koordinaten (X, Y, Z) bezeichnet. 
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Zr 
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In einem Schritt S23, wie es in Fig. 16 gezeigt ist, wird eine Naherungsgerade LMV, die einem Relativbewegungsvek- 
tor zwischen einem identischen Objekt und dem Kraftfahrzeug 10 entspricht, basierend auf N Echtraiimpositionsdaten- 
datenelementen erhalten, d. h. Zeitreihenpositionsdaten (N ist beispielsweise eine Zahl gleich oder ungefahr 10) nach der 25 
Wendewinkel-abhangigen Korrektur, die wahrend einer Zeitperiode AT erhalten werden. Im besonderen, unter der An- 
nahme, daB ein die Richtung der Naherungsgeraden LMV angegebender Richtungsvektor ausgedruckt wird durch L = 
(lx, ly, ly) (ILI = 1), wird eine durch die foigenden Gleichungen (5) dargestellte Gerade bestimmt: 

X=u*lx+Xav 30 

Y=u-Iy+Yav 

Z=u*lz+Zav 



N-l . 

Xav = Z XG7/N 
N-l 

Yav - S YG)/N 
f0 



(5) 



35 



40 



N-l 

Zav= i: ZG)/N 45 

wobei u einen Parameter darstelit, der einen beliebigen Wert besitzen kann, und Xav, Yav und Zav den Mittelwert von X- 
Koordinaten, den Mittelwert von Y-Koordinaten bzw. den Mittelwert von Z-Koordinaten von Reihen von Echtraumpo- 
sitionsdaten darstellen. Ferner, falls der Parameter u aus den Gleichungen (5) eliminiert wird, so wird die folgende Glei- 
chung (5a) erhalten: 50 

(X-Xav)/lx = (Y-Yav)Ay = (Z-Zav)Az (5a) 

Fig. 16 ist eine Darstellung, die die Naherungsgerade LMV veranschaulicht. In dieser Figur bezeichnen P(0), P(l), 
P(2), . . ., P(N - 2), P(N - 1) Punkte, die durch jeweilige Zeitreihenpositionsdatendatenelemente (Datenpunkte) nach der 55 
Wendewinkel-abhangigen Korrektur angegeben werden. Die Naherungsgerade LMV wird als eine Gerade bestimmt, die 
sich durch die mittleren Positionskoordinaten Pav (= Xav, Yav, Zav) der Zeitreihenpositionsdatendatenelemente erstreckt 
und einen Mittelwert der Quadrate der jeweiligen Distanzen zwischen der Linie und den Datenpunkten minimiert. Ein je- 
dem P, welches die Koordinaten jedes Datenpunkts (Positionskoordinaten) . angibt, in Klammern hinzugefugter numeri- 
scher Wert gibt hier an, daB das Datendatenelement mit dem numerischen Wert umso alter ist, je groBer der numerische 60 
Wert ist. Beispielsweise gibt P(0) die letzten Positionskoordinaten an, gibt P(l) die eine Abtastwiederholperiode friiher 
erhaltenen Positionskoordinaten an und gibt P(2) die zwei Abtastwiederholperioden fruher erhaltenen Positionskoordi- 
naten an. Das gleiche gilt fiir D(j), X(j), Y(j), Z(j) und dergleichen; auf die spater Bezug genommen wird. 

Im besonderen werden innere Produkte s des Vektors D(j) = PX(j), DY(j), DZ(j)) = (X(j) - Xav, Y(j) - Yav, Z(j) - 
Zav), der sich von den mittleren Positionskoordinaten Pav zu den Koordinaten P(0) bis P(N - 1) der jeweiligen Daten- 65 
punkte erstreckt, und einem Richtungsvektor L durch die folgende Gleichung (6) berechnet, und es wird der Richtungs- 
vektor L = (lx, ly, lz), der die Varianz des inneren Produkts s maximiert, bestimmt: 
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s = lx • DX(j) + Iy • DY(j) + lz • DZ(j) (6) 

*Z*>E^^ «* folgende Glei- 

Produktesentspricht, wirdein aus der MatS ^ShS^^e&'^K^"^ V der VarianZ der taneren 
charakteristischer Vektor derRJchtiinesvektor TZ 8 f If charaktensti "*en Werte entsprechender 
rakteristischer Werte and .iTdSS^tlSS "fr"? bemefken ' ^ ZUm <** 

WannteMethodevemeiKte 

(veroffendicht durch Ohmsha, Ltd, Tokio JapaS) SUUCh '- KeiSan Handbook (Handbook of Numeral Calculus)" 



V = 



N-l 



20 



2 DXO) 2 

2 1 DXG)'DY(j) 
H 

N-l 

2 DXO'DZG) 



N-l 

2 DXGJ-DYO) 
j=o 

N-l , 

2 DYQ) 2 
i=0 

N-l 

2 DYG)'DZG) 



N-l 

2 DXG)-DZG) 
1 l DYG)-DZG) 

N-l , 

2 DZG) 2 



(7) 
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daB deren Positionen auf der NSbamagen^^Sr^S t2V } i**" - ^ Y(N " 1} ' Z(N ~ ! » derart ^gfert, 
naten Z(0), Z(N- 1) fur die oben S^ZS^^ 7^ *?* Verwendun 8 der Z-KoS£ 
ngierte Positionskoordinaten Pv(0) = (XvfO) YvfS iSi' cni^ f.^ der folgcnden « le ^ungen (8) kor- 
1), Yv(N - 1), Zv(N - 1)) berechnet. ^ 6 kom S ,ertc Positionskoordinaten Pv(N - 1) = (Xv(N - 

XvQ) = (ZG) -Zav) X — -Xav 

lz 

VvQ) = (Z G) -Zav) X ~ -Yav 

lz 

(8) 

35 ZvG)"=ZG) 

j=0, N-l 

ben ist, wird eine Nahenmgsgerade, die die ^Sk^rTilS™! ° lelchun « e " < 8 elstreckt - We es oben beschrie- 
hert, basierend auf einer MehLhl von WD^ne^ente^t 20 *» Kraftfahrzeug 10 na- 

AT berechnet, und basierend auf der NSiSde; S Skd vbeZ " ner Uberwac h™g^itperiode 

nachteilige Wirkung von Positionserfassun^St™ ^ SSSTft^^ * eine 

vorabgenauerabzuschatzen. vemngern und die Moghchkeit einer KoUision mil dem Objekt 

Vs = (Zv(N-l)-Zv(0))/AT (9) 



40 
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50 



55 



Zv(0)/Vs:ST (10) 



IYv(0)l z H (11) 

60 wu^Xt^ d - (obwohl v de m Symbol hinzugefiigt 



65 



geraden LMV korrigiert wurdeS dfeZ^ ^ Vewend "ng der Nahemngs- 

stellt Zv(N - 1) einen eine Zeitperiode A? SSjESS?" J** *"„' dW Korrekto besafi > und 
vorgesehen ist, ein Bestimmen rrM6gUchSein? SX£SS ^ T eine Voreilzeit dar ' * dazu 
zu ermoglichen. T ist auf eine Zeitpe^S 

eine vorbestimmte Hohe zur Definition einer ReichwriteTr , dTV wthlT h ^f"™4» emgestellt. Ferner stellt H 
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digkeit Vs und der Distanz Zv(0), die beide erfaBt oder berechnet sind, entsprechende Koordinaten in einem schraffierten 
Bereich in der Figur liegen und gleichzeitig IYv(0)l < H gilt, so werden in den Schritten S42 ff. Bestimmungsprozesse 
ausgefuhrt. h 

In Fig. 18 ist ein Bereich, der durch die Kameras 1R, 1L uberwacht werden kann, durch einen Bereich ARO dargestellt, 
der durch ein durch dicke durchgehende Linien angegebenes auBeres Dreieck bestimmt ist. In dem Bereich ARO sind Be- 5 
reiche AR1 , AR2 und AR3 als Warnungsbestimrnungsbereiche gesetzt, die dem Kraftfahrzeug 10 naher sind als Z 1 = Vs 
x T (Fahrzeuggeschwindigkeit x Voreilzeit). Hierbei ist der Bereich AR1 ein einer Reichweite entsprechender Bereich, 
umfassend die Breite a des Kraftfahrzeugs 10 und Zuschlage P, {J (die jeweils einen Wert von z. B. 50 bis 100 cm besit- 
zen), die an entgegengesetzten Seiten des Fahrzeugs 10 vorgesehen sind, mit anderen Worten, ein Bereich mit einer 
Breite von (ct/2 + P) auf jeder Seite der Mittelachse in der Langsrichtuhg des Fahrzeugs 10. Falls das Objekt in diesem 10 
Bereich vorhanden bleibt, gibt es eine sehr bedeutende Moglichkeit einer Kollision mit dem Fahrzeug 10. Daher wird 
dieser Bereich nachfolgend als der "Naherungsobjektbestimmungsbereich" bezeichnet. Die Bereiche AR2, AR3 sind Be- 
reiche, die X-Koordinaten mit groBeren Absolutwerten als diejenigen der X-Koordinaten in dem Naherungsobjektbe- 
stimmungsbereichs aufweisen (Bereiche seitlich auBerhalb des Naherungsobjektbesdmmungsbereich). Ein Objekt in ei- 
nem dieser Bereiche AR2 und AR3 wird einem nachfolgend beschriebenen EintrittsobjektkoiksionsbestimmungsprozeB 15 
fiir ein Bestimmen der Moglichkeit einer potentiellen Kollision eines eintretenden Objekts unterzogen. Piese Bereiche 
AR2 und AR3 werden als die "Eintrittsobjektbestimmungsbereiche" bezeichnet, Ferner besitzen die obigen Bereiche die 
vorbesdmmte Hone H in der Y-Richtung, wie es in dem Ausdruck (11) angegeben ist. 

Die Antwort auf die Frage von Schritt S41 wird bestatigend (Ja), wenn das Objekt in dem Naherungsobjektbestim- 
mungsbereich AR1 oder in einem der Emtrittsobjektbestimmungsbereiche AR2, AR3 voriiegt 20 

In dem nachfoigenden Schritt S42 wird bestimmt, ob das Objekt in dem Naherungsobjektbesdmmungsbereich AR1 
voriiegt oder nicht. Falls die Antwort auf die Frage von Schritt S42 bestatigend (Ja) ist, schreitet das Programm unmit- 
telbar zu einem Schritt S44, wohingegen in dem Fall, in dem die Antwort negativ (Nein) ist, in einem Schritt S43 der Ein- 
trittsobjektkoUisionsbestimmungsprozeB zum Bestimmen der Moglichkeit einer potentiellen Kollision des eintretenden. 
Objekts ausgefuhrt wird. Im besonderen wird bestimmt, ob der folgende Ausdruck (12) durch die Differenz zwischen der 25 
letzten x-Koordinate xc(0) (wie oben beschrieben, wird c dem Symbol hinzugefugt, um anzugeben, daB das Symbol die 
x-Koordinate darstellt, welche korrigiert wurde, indem die Mittelposition des Bilds mit dem Ursprung O des Echtraum- 
koordinatensystems zur Koinzidenz gebracht wurde) und einer x-Koordinate xc(N - 1) erfullt wird oder nicht, die eine 
Zeitperiode AT friiher erhalten wurde. Falls der folgende Ausdruck (12) erfullt ist, so wird bestimmt, daB eines bedeu- 
tende Moglichkeit fur eine Kollision gibt. 30 



j=rcU«(0)-«<N-l). (12) 



35' 



Zv(0) Zv(N-l) 

<°±LJ _i 

* 2 IZvCO) Zv(N-l) 

Wie es in Fig. 19 gezeigt ist, falls ein Her 20 in einer Richtung kommt, die ungefahr orthogonal zu der Rich tung der 
Fahrt des Kraftfahrzeugs 10 ist, wenn Xv(N - l)/Zv(N - 1) = Xv(0)/Zr(0) gilt, mit anderen Worten, wenn ein Verhaltnis 40 
Vp/Vs = Xr(N - l)/Zr(N - 1) gilt (Vp ist eine Geschwindigkeit des Tiers 20 und Vs ist eine Relativgeschwindigkeit des 
Fahrzeugs 10), so ist ein Azimuthwinkel 6d des Hers 20, wie von dem Fahrzeug 10 betrachtet, konstant. In diesem Fall 
gibt es eine bedeutende Mdglichkeit fiir eine Kollision. Der Ausdruck (12) wird zum Bestimmen der Moglichkeit ver- 
wendet, in dem die Breite a des Kraftfahrzeugs 10 beriicksichtigt wird. Im folgenden wird eine Methode zum Ableiten 
des Ausdrucks (12) mit Bezug auf Fig. 20 beschrieben. \ 45 

Wenn eine durch die letzten Positionskoordinaten des Objekts 20 sowie die eine Zeitperiode AT friiher erhaltenen Po- 
sitionskoprdinaten desselben sich erstreckende Gerade, d. h. die Naherungsgerade LMV, eine X-Y-Ebene (Ebene umfas- 
send die X-Achse und die Y-Achse, d h. eine Ebene, die eine dem Vorderende des Fahrzeugs 10 entsprechende Linie (X- 
Achse) enthalt und sich in einer Richtung orthogonal zu der Fahrtrichtung des Fahrzeugs 10 erstreckt) schneidet, falls die 
X-Koordinate des Schnittpunkts davon durch XCL ausgedriickt wird, so sind Kollisionsauftrittsbedingungeri, in denen 50 
die Breite a des Fahrzeugs 10 beriicksichtigt wird, durch den folgenden Ausdruck (13) gegeben: 

-a/2 < XCL < a/2 (13) 

Andererseits ist eine durch Projizieren der Naherungsgeraden LMV auf eine X-Z-Ebene gebildete Gerade durch die 55 
folgende Gleichung (14) gegeben: 

Wenn Z = 0, X = XCL in dieser Gleichung substituiert werden, um XCL zu berechnen, so erhalt man die folgende 
Gleichung (15): 

Xv(0)/Zv(0) -Xv(N-l)/Zv(N-l) 
XCL ~ l/Zv(0)-l/Zv(N-l) (15) 65 

Femer, da die Echtraumkoordinate X sowie die Koordinate xc auf dem Bild eine durch die obige Gleichung (3) ange- 
gebene Beziehung besitzen, gelten die folgenden Gleichungen (16) und (17): 
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Xv(0>=xc(0)xZv(0)/f- (16) • 
Xv(N-l)=xc(N-l)xZv(N-l)/f (17) 

xgl= xc(0) / f - xc (N-:U/f 

l/Zv(0)-l/Zv(N-l) 08) 

guS h eSS tUiefCn ^ " ^ AUSdrUCk (13) * e durch *« A U! ^c k (12) definierten Bedin- 

Die vorbestimmtt Sch welle GTH wind gemaB det folgendei, Gleidumg (1 9) eingsslelli: 
* GTH = 2XZv<0) » 9 > . 
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Kraftfahrzeugs uberwacht, so ist femer dies nicht beschrankend, sondern das System kann derart konfigurierl sein, daB 
irgendwelche Abschnitte der Umgebung in irgendwelchen Richtungen einschlieBlich einem ruckwartigen Abschnitt der- 
selben uberwacht werden konnen. 

Fur Fachleute ist es ferner verstandlich, daB das Vorangegangene eine bevorzugte Ausfuhrungsform der Erfindung ist 
daB verschiedene Veranderungen und Modifikationen vorgenommen werden konnen, ohne den Sinn und Bereich dersel- 5 
ben zu verlassen. 

Zusammenfassend stellt die Erfindung ein FahrzeugumgebungsUberwachungssystem fur ein Kraftfahrzeug bereit, 
welches geeignet ist, genau die Bewegung eines in einer Umgebung des Fahrzeugs vorhandenen Objekts zu erfassen und 
die Moglichkeit fur eine Kollision zwischen dem Objekt und dem Fahrzeug zu bestimmen, und dadurch den Fahrer an- 
gemessen zu warnen. Eine Reiativposition des Objekts zu dem Kraftfahrzeug wird aus dem mittels einer an dem Fahr- 10 
zeug angebrachten Kamera erhaltenen Bild erhalten, um Positionsdaten zu erlangen. Positionen des Objekts in einem 
Echtraum werden basierend auf einer Mehrzahl von Zeitreihendateneiementen der an dem Objekt erfaBten Positionsda- 
ten berechnet und ein Bewegungsvektor des Objekts wird basierend auf den Positionen im Echtraum berechnet. Es wird 
basierend auf dem Bewegungsvektor bestimmt, ob das Objekt eine bedeutende Moglichkeit fiir eine Kollision rnit dem 
Kraftfahrzeug aufweist 15 

Patentanspriiche 

1 . Fahrzeugumgebungsuberwachungssystem fur ein Kraftfahrzeug (10), welches ein in einer Umgebung des Kraft- 
fahrzeugs (10) vorhandenes Objekt aus einem Bild erfaBt, welches mittels an dem Kraftfahrzeug (10) angebrachter 20 
Abbiidurigsmittel (1R, 1L, 2) erhalten wird, wobei das Fahrzeugumgebungsuberwachungssystem umfaBt: 
Relativpositionerfassungsmittel (2, S14 bis SI 9) zum Erfassen einer Reiativposition des Objekts zu dem Kraftfahr- 
zeug (10) aus dem mittels der Abbildungsmittel (1R, 1L, 2) erhaltenen Bild, um Positionsdaten zu erlangen; 
Bewegungsvektorberechnungsmittel (2, S20 bis S23) zum Berechnen von Positionen des Objekts in einem Ech- 
traum basierend auf einer Mehrzahl von Zeitreihendateneiementen der an dem Objekt mittels der Relativpositioner- 25 
fassungsmittel (2, S14 bis SI 9) erfaBten Positionsdaten, und zum Berechnen eines Bewegungsvektors des Objekts 
basierend auf den Positionen im Echtraum; und 

Bestimmungsmittel (2, S41 bis S44) zum Bestimmen, ob das Objekt eine bedeutende Moglichkeit fiir eine Kollision 
mit dem Kraftfahrzeug (10) besitzt oder nicht, basierend auf dem Bewegungsvektor. 

2. Fahrzeugumgebungsuberwachungssystem nach Anspruch 1, wobei die Bewegungsvektorberechnungsmittel Na- 30 
herungsgeradenberechnungsmittel zum Berechnen einer eine Ortskurve der Relativbewegung des Objekts nahern- 
den Naherungsgeraden (LMV) sowie Positionsdatenkorrekturmittel zum Korrigieren der Zeitreihendatenelemente 

der Positionsdaten unter Verwendung der Naherungsgeraden (LMV) umfassen, wobei die Bewegungsvektorberech- 
nungsmittel (2, S20 bis S23) den Bewegungsvektor basierend auf den korrigierten Zeitreihendateneiementen der 
Positionsdaten berechnen. 35 

3. Fahrzeugumgebungsuberwachungssystem nach Anspruch 1 oder 2, wobei die BestirnmungsmitteL (2, S41 bis 
S44) die Bestimmung unter Anwendung von Bedingungen zum Bestimmen einer potentiellen Kollision ausfuhren, 
wobei die Bedingungen von einer Breite (a) des Fahrzeugs (10) abhangig sind. 

4. Fahrzeugumgebungsuberwachungssystem nach Anspruch 2 oder 3, wobei die Naherungsgeradenberechnungs- 
mittel die Naherungsgerade (LMV) als eine dreidimensionale Gerade umfassend Daten einer Hone des Objekts be- 40 
rechnen. 

5. Fahrzeugumgebungsuberwachungssystem nach einem der Anspriiche 1 bis 4, wobei die Abbildungsmittel (1R, 
1L, 2) zwei Infrarot-Kameras (1R, 1L) umfassen, die zum Erfassen von Wrarotstrahlung geeignet sind. 

6. Fahrzeugumgebungsiiberwachungssystem nach einem der Anspriiche 1 bis 5, wobei die Abbildungsmittel zwei 
TV-Kameras zum Erfassen von Infrarotstrahlung oder sichtbarer Strahlung umfassen, und wobei die Relati vpositio- 45 
nerfassungsmittel (2, S14 bis SI 9) umfassen: 

Suchbereichsetzmittel zum Setzen, basierend auf einer Position eines in einer Bildausgabe von einer der zwei TV- 
Kameras enthaltenen Objektbilds, eines Suchbereichs in einer Bildausgabe von der anderen der zwei TV-Kameras 
zum Suchen nach einem in der Bildausgabe von der anderen der zwei TV-Kameras enthaltenen korrespondierenden 
Objektbild, 50 
KoiTCspondenzobjektbiididentifizierungsmittel zum Identifizieren des korrespondierenden Objektbilds durch Aus- 
fuhren einer Korrelationsbperation an Daten in dem Suchbereich, und 

Distanzberechnungsmittel zum Berechnen einer Distanz von dem Fahrzeug (10) zu dem Objekt basierend auf einer 
Parallaxe zwischen dem Objektbild und dem korrespondierenden Objektbild. 

7. Fahrzeugumgebungsuberwachungssystem nach Anspruch 6, wobei die Daten in dem Suchbereich Graustufen- 55 
daten umfassend eine Halbtoninformation sind. 

8. Fahrzeugumgebungsuberwachungssystem nach Anspruch 7, wobei die Relativpositionerfassungsmittel \ferfol- 
gungsmittel zum Verfoigen eines Objekts, das sich in dem mittels der Abbildungsmittel (1R, 1L, 2) erhaltenen Bild 
bewegt, unter Verwendung von Binardaten, die durch Binarisieren der Graustufendaten gebildet werden, umfassen. 

9. Fahrzeugumgebungsuberwachungssystem nach Anspruch 8, wobei die Verfolgungsmittel das verfolgte Objekt 60 
unter Verwendung von Lauflangendaten erkennen, die aus den Binardaten codiert werden. 

10. Fahrzeugumgebungsuberwachungssystem nach Anspruch 8 oder 9, wobei die \ferfolgungsmitteI eine Identitat 
des verfolgten Objekts bestimmen basierend auf Positionskoordinaten eines Hachenschwerpunkts von einem Bild 
desselben, einer Flache des Bilds desselben und einem Seitenverhaltnis eines das Bild desselben umschreibenden 
Rechtecks. 65 

11. Fahrzeugumgebungsuberwachungssystem nach einem der Anspriiche 1 bis 10, umfassend Wamungsmittel 
(S45, 3, 4) zum Warnen eines Fahrers, wenn mittels der Bestimmungsmittel (2, S 14 bis S19) bestimmt wird, daB es 
eine bedeutende Moglichkeit fur eine Kollision mit dem Objekt gibt, wobei die Wamungsmittel (S45, 3, 4) an einem 
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ST™™^* f bi ° den Si "f. Wen " der Fahrer eine Bremsoperation ausfiihrt und die durch die Biemsopera- 
Uon hervorgerufene Verzogening hierbei groBer als eine voitestimmte Schwelle isL *remsopera 
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